Information-Guided Selective Modality-Interest Alignment for Multimodal Recommendation
信息引导的选择性模态-兴趣对齐多模态推荐框架
🧭 多模态推荐 · 兴趣对齐与去噪
Shanghai Jiao Tong University
提出信息论引导的 AMUR 框架，选择性对齐与用户兴趣相关的多模态语义并抑制噪声模态
📌 工作参考价值（4 点）
- 多模态推荐里不要默认全量融合所有模态：业务上可以先利用用户行为信号筛选与兴趣更相关的模态子集，降低视觉/文本噪声对点击率、转化率建模的干扰。
- 借鉴信息论显式约束：用互信息或熵正则替代隐式 attention 加权，让模态-兴趣对齐有明确优化目标；在电商多模态商品塔中可加入兴趣相关性损失，提升冷启动和长尾商品表征。
- 图结构先 refinement 再融合：先用用户行为调整物品多模态图，剪掉弱相关边，再跨模态对齐；对应到商品关系图，能减少无关商品连接带来的 embedding 噪声。
- 保留模态特定互补信息：对齐共享语义时不要完全抹掉模态独有信号，电商场景中文本标题、主图、视频信息有互补性，可设计共享/私有特征分离结构。